Увидел сейчас, просматривая реп проекта (это опенсорсная реплика ChatGPT), тетрадку unified-qa.ipynb. Цитата из ридмишки:

"UnifiedQA is a notebook that downloads data from UnifiedQA's Google Cloud bucket and converts it into OpenAssistant Data Scheme formats. Files for each dataset in the UnifiedQA collection (excluding the ones already in xP3) ( Read more... )

Про изменения в модели интерпретатора и нормализатора в новой версии чатбота я уже отчитался. Теперь пора раскрыть еще одно новшество - как чатбот использует базу фактов (в общем случае - базу декларативных знаний).

Вот реальный тестовый диалог чатбота (метки B) с живым человеком (метки H). Бот использует профиль, где указаны, среди прочего, его ( Read more... )

Пытаюсь оценить перспективность использования keras-варианта Трансформера для задачи генерации реплики русскоязычного чатбота на основе контекста и вопроса.
Проверил разные варианты представления текста, в том числе отдельные слова и рекомендуемый авторами SentencePieceПараметры Трансформера варьировал в поисках оптимума, учитывая небольшой объем ( Read more... )

Для экспериментов с различными моделями для русскоязычного чат-бота.
Пара сотен тысяч фраз, диалоги разной степени осмысленности и законченности, не субтитры.
Текстовый файл

Далее - пример того, как некоторые особенности технологии подготовки датасета, наложившись на свойства самого языка, могут проявить себя в NLP модели весьма необычным образом.
( Read more... )